Know It, Act on It: Investigating Memory Utilization in LLM Personalization
知其然,亦行其道:LLM 个性化中的记忆利用研究
🧭 Agent 记忆利用评估
The Hong Kong Polytechnic University
解耦“知道”与“行动”的评估范式揭示:LLM agent 能记住用户偏好却常不据此行动,健康领域尤甚。
📌 工作参考价值(4 点)
- 构建个性化推荐或客服 agent 时,应设置成对的 Know/Act 测试用例,分别验证偏好召回与行为应用,避免“记住但不用”的盲区。
- 对高风险偏好(如过敏、健康约束)应提升测试密度与强度,并考虑在 prompt 或记忆检索后追加显式的“偏好-行动”一致性检查模块。
- 记忆架构(如摘要、向量检索)能缩小 Know-Act 差距,但无法根除,需配合针对性微调或 RLHF 强化从记忆到行为的转化。
- 工程上可将用户敏感属性标记为“强制遵循”类型,在推理阶段由策略层校验生成内容是否符合已知偏好,防止危险建议。